Khi chiến tranh bùng nổ, quân đoàn của Shumilov đã tham gia vào chiến dịch phòng thủ Baltic. Từ ngày 23 đến ngày 25 tháng 6, đơn vị ông tham gia một cuộc phản công chống lại tập đoàn xe tăng 4 của Đức đột phá vào khu vực cứ điểm Šiauliai. Sau đó, quân đoàn rút lui theo hướng Riga và xa hơn đến Tartu. Tháng 7, quân đoàn chiến đấu trong các trận phòng thủ khốc liệt trên tuyến Pärnu -Tartu. Từ ngày 22 đến ngày 25 tháng 7, quân Đức đã chọc thủng được chiến tuyến và tiến đến được hồ Peipsi và bao vây quân đoàn Shumilov. Ngày 30 tháng 7, quân đoàn phá vây thành công, tiến hành các hoạt động phòng thủ dọc theo đường cao tốc Narva.

Tháng 8 năm 1941, ông được bổ nhiệm làm phó tư lệnh Tập đoàn quân 55 thuộc Phương diện quân Leningrad, tham gia bảo vệ Leningrad. Tuy nhiên, đến tháng 11, ông được triệu hồi về Moskva đưa vào lực lượng dự bị. Đến tháng 12 năm 1941, ông được bổ nhiệm làm tư lệnh Quân đoàn Súng trường đặc nhiệm số 1, nhưng không thực sự chỉ huy nó. Tháng 1 năm 1942, ông được bổ nhiệm làm Phó tư lệnh Tập đoàn quân 21 thuộc Phương diện quân Tây Nam, tham gia các chiến dịch mùa hè năm 1942 trên hướng Kharkov và sông Don.

Tháng 8 năm 1942, Shumilov được bổ nhiệm làm Tư lệnh Tập đoàn quân 64, thay cho tướng Gordov, vào giai đoạn đầu trận Stalingrad. Trong khoảng một tháng, quân đội của ông đã kìm chân Tập đoàn quân thiết giáp số 4 dưới sự chỉ huy của Hermann Hoth trên đường tiếp cận phía nam tới Stalingrad, để các xí nghiệp công nghiệp ở phía bắc thành phố tiếp tục hoạt động. Trong sáu tháng, quân đội của Shumilov đã trấn giữ phần phía nam của Stalingrad trong những trận chiến ác liệt, đóng vai trò xuất sắc trong việc bảo vệ thành phố cùng với tập đoàn quân 62 của tướng Vasily Chuikov. Chính Tập đoàn quân 64 là đơn vị đã bắt sống Thống chế Friedrich Paulus ở gần thành phố Stalingrad. Ngày 31 tháng 1 năm 1943, đích thân Shumilov đã chỉ huy cuộc thẩm vấn Paulus.[3].

Ngày 16 tháng 4 năm 1943, tập đoàn quân của Shumilov được đổi phiên hiệu thành Tập đoàn quân Cận vệ 7 và giữ phiên hiệu này cho đến khi chiến tranh kết thúc. Đơn vị đã tham gia Trận Vòng cung Kursk, vượt sông Dnepr, Chiến dịch tấn công Kirovograd, Chiến dịch tấn công Uman–Botoşani, Chiến dịch tấn công chiến lược Iaşi-Chişinău, Chiến dịch Debrecen, Chiến dịch Budapest, Chiến dịch tấn công Bratislava-Brno và Chiến dịch Praha. Tướng Shumilov cũng có nhiều công lao trong việc thành lập quân đội Romania mới.

Theo sắc lệnh của Chủ tịch Xô viết tối cao Liên Xô ngày 26 tháng 10 năm 1943, Thượng tướng Mikhail Stepanovich Shumilov được phong tặng danh hiệu Anh hùng Liên Xô cùng với việc tặng thưởng Huân chương Lenin và Huân chương Sao vàng.